Mansfield Town được thành lập dưới tên Mansfield Wesleyans vào năm 1897, tên của câu lạc bộ đến từ nhà thờ Wesleyan địa phương. Câu lạc bộ đã chơi giao hữu cho đến mùa giải 1902-03, khi họ tham gia Mansfield và District Amateur League. Khi giải đấu bỏ thẻ nghiệp dư vào năm 1906, nhà thờ đã từ bỏ câu lạc bộ, câu lạc bộ đổi tên thành Mansfield Wesley và chuyển sang Notts và District League.

Vào mùa hè năm 1910, mặc dù đã để thua ở mùa giải trước trước Mansfield Mechanics ở Vòng loại thứ hai của Cúp FA, đội đã đổi tên thành Mansfield Town (khiến đội Mechanics ghê tởm). Trong những năm tiếp theo, Mansfield Town hoán đổi giữa Notts và District League, Central Alliance League và Notts và Derbyshire League, trước khi Thế chiến thứ I tạm dừng thủ tục.

Sau chiến tranh, Mansfield trở thành cư dân của sân Field Mill, sau khi Mansfield Mechanics không trả được tiền thuê của họ. Năm 1921, câu lạc bộ được nhận vào giải Midland Counties League, và ăn mừng bằng cách lọt vào Vòng loại thứ sáu của Cúp FA hai lần liên tiếp. Câu lạc bộ đã vô địch giải đấu vào năm 1923-24 và là á quân mùa giải tiếp theo, nhưng trong cả hai lần đều không giành được quyền bầu cử vào Football League.

Vào năm 1928-29, Mansfield lại vô địch giải Midland League, nhưng nổi tiếng hơn là lọt vào tới Vòng Bốn Cúp FA, để thua đội First Division Arsenal, sau một trận đấu ở cúp quốc gia mà họ đánh bại đội Second Division Wolverhampton Wanderers. Tuy nhiên, York City đã đánh bại The Stags trong cuộc bầu cử cho một vị trí của Liên đoàn.

Năm 1931, Mansfield cuối cùng đã được bầu vào Khu vực phía Nam của Third Division. Tuy nhiên, câu lạc bộ gặp khó khăn trong việc thích nghi với môi trường Liên đoàn và thường xuyên ở vị trí thấp hơn của bảng xếp hạng. Một trong số rất ít điểm nổi bật trong những năm trước Thế chiến thứ hai là Ted Harston, người đã ghi 55 bàn trong một mùa giải trước khi chuyển đến Liverpool.

Sau chiến tranh, Mansfield bắt đầu thấy một số tiến bộ. May mắn thoát khỏi sự cần thiết phải bầu cử lại khi quyết định rằng không có câu lạc bộ nào sẽ xuống hạng sau mùa giải 1946-47, The Stags bắt đầu đi lên. Trong các năm 1950-51, Mansfield lọt vào vòng Năm của Cúp FA và trở thành đội bóng đầu tiên của Football League bất bại 23 trận trên sân nhà, mặc dù chỉ có một suất thăng hạng Third Division duy nhất.

Vào mùa giải 1959-60, câu lạc bộ đã xuống hạng ở Fourth Division, trước khi thăng hạng trở lại Third Division vào mùa giải 1962-63. Sự thăng hạng này sau đó đã bị ô uế bởi án treo giò trọn đời của các cầu thủ Brian Phillips và Sammy Chapman vì mua chuộc đối thủ, bao gồm cả các cầu thủ của Hartlepools United trong một trận đấu quan trọng mà Mansfield thắng 4-3. Hai mùa giải sau, câu lạc bộ một lần nữa suýt chút nữa không thăng hạng Second Division. Mùa giải sau khi tránh xuống hạng do bị Peterborough United trừ điểm, Mansfield đã có thêm một cúp vô địch nữa. Mansfield đánh bại đội First Division West Ham United 3-0 ở vòng Năm Cúp FA 1968-69, trước khi thua Leicester City ở tứ kết. Mùa giải 1971-72 Mansfield lại bị xuống hạng đến Fourth Division.

Đến mùa giải 1976-77, câu lạc bộ trở lại Third Division, và bất chấp thất bại 5-2 ở Cúp FA trước Matlock Town, đánh bại Wrexham để giành chức vô địch Third Division. Câu lạc bộ đã đi xuống ngay lập tức, và chỉ có phong độ tốt vào cuối mùa giải 1978-79 đã cứu Mansfield khỏi một cú đúp xuống hạng.

Mansfield đã giành được Football League Trophy trước 58.000 người hâm mộ vào tháng 5 năm 1987, đánh bại Bristol City otrên chấm phạt đền sau khi hòa 1-1. Tuy nhiên, những năm sau đó không đồng nhất với việc Mansfield trở thành một đội "yo-yo" giữa Third và Fourth Division. Đó cũng là thời điểm ông chủ gây tranh cãi Keith Haslam mua lại câu lạc bộ.

Vào mùa giải 2001-02, Mansfield một lần nữa được thăng hạng ba của bóng đá Anh, đánh bại Carlisle vào ngày cuối cùng của mùa giải để giành vị trí thứ ba từ Cheltenham Town, đội đã thua Ptenhamlymouth. Một mùa giải kém cỏi ở Division Two đã không diễn ra ngay cả khi có sự xuất hiện của cựu tuyển thủ Anh Keith Curle trên cương vị huấn luyện viên, khi câu lạc bộ bị xuống hạng thẳng trở lại hạng 4 của bóng đá Anh. Mùa giải 2003-04, Mansfield đánh bại Northampton trong loạt sút luân lưu ở bán kết play-off Division Three, nhưng để thua Huddersfield Town trong một trận chung kết tương tự, sau khi có bàn thắng rõ ràng là hợp lệ của Colin Larkin không được công nhận.

Vào mùa giải 2007-08, 77 năm gắn bó với Football League của Mansfield kết thúc khi câu lạc bộ bị xuống hạng đến Conference.[4] Điều này xảy ra bất chấp một kỳ FA Cup xuất sắc, dẫn đến hai lần xuất hiện trên kênh truyền hình BBC, trước Harrogate Railway và Middlesbrough. Một bàn thắng tuyệt vời trong trận thua 0-1 trước đối thủ Rotherham trong trận đấu sân nhà cuối cùng của mùa giải, tất cả đều đảm bảo trụ hạng.[5] Cảnh tượng xấu xí nổ ra khi tiếng còi mãn cuộc vang lên, chủ công gây tranh cãi Keith Haslam bị người hâm mộ tấn công.[6]

Haslam đã rời câu lạc bộ, khi "Three Amigos" gồm Perry, Middleton và Saunders mua câu lạc bộ (nhưng không phải mặt đất) với giá 1 bảng và bổ nhiệm Billy McEwan làm huấn luyện viên. Ông đã được thay thế sau Giáng sinh bởi David Holdsworth. Triều đại kéo dài hai năm rưỡi của Holdsworth đã giúp câu lạc bộ cải thiện rất ít và ông bị sa thải khỏi vị trí huấn luyện viên.

Huấn luyện viên tạm quyền Duncan Russell đã dẫn dắt Mansfield đến trận chung kết FA Trophy trong mùa giải 2010-11, Louis Briscoe ghi bàn thắng trong hiệp phụ muộn trước Luton trong trận bán kết lượt về. The Stags thua Darlington 1-0 trên sân vận động Wembley sau bàn thắng ở phút thứ 120 của Chris Senior. Vị trí thứ 12 của giải đấu không đủ tốt để Russell giữ được công việc của mình; Paul Hall thay thế ông làm huấn luyện viên tạm quyền khi mùa giải kết thúc.

Người thay thế ông, Paul Cox, đã dẫn Mansfield đến thành tích Conference cao nhất của họ trong mùa giải đầu tiên. Phong độ tốt sau Giáng sinh đã giúp The Stags kết thúc ở vị trí thứ ba trong giải đấu, mặc dù họ đã để thua chung cuộc 2-1 trước đội thắng trận play-off cuối cùng là York City sau hiệp phụ trong trận bán kết play-off thăng hạng.

Khởi đầu mùa giải 2012-13 một cách thờ ơ khiến Mansfield phải loanh quanh ở khu vực giữa bảng, với một số người hâm mộ kêu gọi người đứng đầu của huấn luyện viên. Một điểm tốt trong nửa đầu mùa giải là chức vô địch Cúp FA của câu lạc bộ. Chiến thắng 2-1 trước Lincoln City[7] đã thiết lập trận đấu ở vòng 3 với đội bóng Premier League Liverpool. Bàn thắng gây tranh cãi của Luis Suárez đã giúp The Reds giành chiến thắng 2-1,[8] nhưng màn trình diễn quả cảm của đội Mansfield đã tạo đà cho đội bóng trong những tuần tiếp theo. Sau trận đấu cúp, đội Stags đã thắng 20 trong 24 trận gần đây nhất của họ, bao gồm kỷ lục câu lạc bộ đạt được 12 trận thắng liên tiếp, để giành danh hiệu Conference Premier, thăng hạng trở lại Football League. Danh hiệu này được trao chính thức với chiến thắng 1-0 trước Wrexham vào ngày 20 tháng 4 năm 2013.[9]